BUDDY: Enrutamiento Dinámico Basado en Presupuesto para Inferencia de LLMs
Descubre cómo BUDDY reduce costes en inferencia de LLMs mediante enrutamiento dinámico por presupuesto, adaptándose al contexto en tiempo real.
#adaptación en decodificación
Descubre cómo BUDDY reduce costes en inferencia de LLMs mediante enrutamiento dinámico por presupuesto, adaptándose al contexto en tiempo real.